A Jieyue Xingchen Intelligent Technology Co., Ltd., de Xangai, e a Chá Baodao, renomada marca chinesa de bebidas de chá, anunciaram em 14 de janeiro de 2025 uma parceria estratégica. Essa colaboração visa utilizar a tecnologia de modelo de linguagem de grande escala da Jieyue Xingchen para explorar novos modelos de inspeção inteligente e marketing AIGC, com o objetivo de criar um novo tipo de operação de produção de lojas digitais, oferecendo aos consumidores uma experiência de consumo de chá com leite mais segura, inteligente e divertida.

Relatos recentes indicam que a Amazon está desenvolvendo um modelo de linguagem multimodal de grande escala chamado "Olympus", com lançamento previsto para a conferência AWS re:Invent na próxima semana. De acordo com o The Information, este é o nome de código interno do algoritmo. Em novembro do ano passado, a Reuters reportou que a Amazon investiu milhões de dólares no treinamento de um modelo de linguagem de grande escala chamado "Olympus", com 2 trilhões de parâmetros. Quanto a esta...

A Dongyi Technology, uma empresa de robôs humanoides fundada em junho de 2024, recebeu milhões de yuans em financiamento da rodada anjo, liderada pela Peak Capital e pelo Z Fund, com a participação de várias instituições de investimento conhecidas. O fundador da empresa, Ren Xiaoyu, possui vasta experiência no desenvolvimento de robôs humanoides bípedes e aprendizado por reforço. Atualmente, os robôs humanoides se destacam na execução de tarefas individuais, mas enfrentam desafios na realização de ações ricas e generalizadas, limitando seu potencial de combinação com modelos de linguagem multimodais. A Dongyi Technology se dedica ao desenvolvimento de um novo agente de IA de movimento comportamental e uma nova geração de robôs humanoides.

O Instituto de Geoquímica da Academia Chinesa de Ciências e a Alibaba Cloud colaboraram para lançar o primeiro grande modelo de linguagem multimodal especializado em ciência lunar do mundo na Conferência Digital da China de 2024. Baseado na série Tongyi da Alibaba Cloud e empregando a tecnologia de recuperação aumentada RAG, o modelo foi ajustado e treinado na versão exclusiva do Alibaba Cloud Bailian. Ele é projetado para melhorar a precisão da discriminação da idade e morfologia das crateras de impacto lunar, atualmente atingindo mais de 80%. Este modelo inovador combina visão computacional, multimodalidade e processamento de linguagem natural, sendo sua melhor aplicação a identificação de crateras de impacto na Lua, o que é crucial para o estudo da evolução geológica lunar.

O modelo de linguagem multimodal Yi-VL da Zero One Wanwu foi lançado, incluindo as versões Yi-VL-34B e Yi-VL-6B. O modelo Yi-VL apresenta capacidades excepcionais em compreensão de imagens e texto e geração de diálogos. O modelo Yi-VL alcançou resultados de ponta em conjuntos de dados em inglês e chinês. O Yi-VL-34B superou outros grandes modelos multimodais com uma precisão de 41,6%. O modelo Yi-VL é baseado na arquitetura LLaVA e possui capacidades robustas de compreensão e geração de linguagem.

O NExT-GPT é um modelo de linguagem multimodal de código aberto lançado pela Universidade Nacional de Cingapura, capaz de processar texto, imagens, vídeos e áudio, fornecendo suporte robusto para aplicativos de inteligência artificial multimídia. Ele emprega uma arquitetura de três camadas, incluindo projeção linear, núcleo Vicuna LLM e camadas de conversão específicas para cada modalidade, utilizando a tecnologia MosIT para treinamento de camada intermediária. A contribuição de código aberto permite que pesquisadores e desenvolvedores criem aplicativos que integram entradas multimodais, com amplos potenciais campos de aplicação. A singularidade do NExT-GPT reside em sua capacidade de se adaptar a

O aplicativo de modelo de linguagem multimodal de grande escala da Mianbi Intelligence, "Mianbi Luca", está agora oficialmente aberto ao público. "Mianbi Luca" é um assistente de diálogo inteligente multimodal desenvolvido pela Mianbi Intelligence com base no modelo base de parâmetros de centenas de bilhões CPM de desenvolvimento próprio. Luca possui capacidades de diálogo em chinês e inglês, código, conhecimento, lógica e compreensão de imagens. A Mianbi Intelligence irá integrar ainda mais a tecnologia AI Agent com Luca para explorar o potencial dos aplicativos de modelos de linguagem de grande escala. Mianbi Intelligence, Universidade Tsinghua e OpenBMB

Pesquisadores da Apple e da Universidade de Columbia desenvolveram em conjunto o modelo de linguagem multimodal Ferret, projetado para alcançar uma compreensão e descrição de imagens avançadas. O modelo Ferret possui uma forte capacidade de compreensão global, capaz de lidar com texto livre e regiões citadas, superando modelos tradicionais em desempenho. Os pesquisadores criaram o conjunto de dados GRIT, contendo 1,1 milhão de amostras, para orientar o modelo em tarefas de citação e localização. A avaliação do Ferret-Bench mostra que o Ferret supera em média os melhores modelos MLLM em 20,4%.